InstanceControl: Controllable Complex Image Generation without Instance Labeling
InstanceControl：无需实例标注的可控复杂图像生成
🧭 多实例可控图像生成 · VLM自动对应
Harbin Institute of Technology · HUAWEI Noah's Ark Lab
利用视觉语言模型自动建立文本描述与视觉条件间的实例级对应，消除手动标注，实现高保真多实例控制。
📌 工作参考价值（4 点）
- 在电商商品场景图生成中，可使用类似VLM自动将多个商品文本描述映射到布局或深度图的区域，省去人工标注实例位置。
- 自适应掩码细化策略可通过迭代校正噪声掩码，提升多实例属性绑定的准确性，可迁移至多模态检索或视频中目标跟踪任务。
- 该方法展示了如何利用大规模预训练模型（如VLM）的零样本能力进行细粒度对齐，可为电商广告创意生成中的多物品组合控制提供参考。
- 工程实现上，可将VLM作为插件集成到现有扩散模型生成流程中，无需额外训练数据集，降低部署成本。